AI Papers Daily

#Greedy Decoding

2 篇

When Is a Draft Accepted? A Theory of Acceptance in Speculative Decoding

投机解码中草稿接受准则的理论分析

🧭 LLM 推理加速 · 投机解码理论

Independent Researcher

为贪婪与放松接受下的投机解码提供基于 KL 散度的接受证书，覆盖树形解码

📌 工作参考价值（4 点）

• 若在推荐系统中部署 LLM 进行实时生成（如对话式推荐、解释生成），可借鉴放松接受准则（加性/乘性/top-m 放松）提升 draft 接受率，降低延迟。
• 树形解码允许多候选并行验证，在目标分布较平坦时仍能保持较高接受概率，适合对延迟敏感的场景，可直接工程化。
• 论文给出的基于 KL 散度和 margin 的接受条件，可用于离线评估 draft 模型质量，指导模型选择与阈值设定，平衡质量与速度。
• 对于需要确定性输出（不要求分布完全匹配）的推送文案生成、搜索词改写等任务，可直接应用贪婪+放松的投机解码，无需额外校准。

LLM | 2026-06-29 | cs.CL | score 7/10

Speculative DecodingGreedy DecodingAcceptance CriterionKL DivergenceTree DecodingLLM Inference

Beyond Temperature: Hyperfitting as a Late-Stage Geometric Expansion

超越温度缩放：超拟合作为后期几何扩展

🧭 LLM 微调 · 生成多样性 · 机制分析 ★ 深度解读

Department of Statistics, LMU Munich · School of Computer and Information Engineering, Henan University · Munich Center for Machine Learning (MCML)

揭示超拟合通过动态排序重排而非分布锐化提升生成多样性，并仅微调最后 5 层即可复现该效果

📌 工作参考价值（4 点）

• 终端层高效微调：Late-Stage LoRA 仅更新最后 5 层就能复现完整超拟合带来的多样性提升，在 1.5B-2B 模型上减少约 78-83% 训练参数，大幅节省 GPU 小时，可快速迁移到电商对话或商品文案生成。
• 过拟合亦可有益：在极小数据集（2000 条）上训练到近零损失，反而增强了贪婪解码的词汇多样性与连贯性，这提示我们在数据稀缺场景（如特定品类描述）可主动推进过度拟合以打破重复模式，而非提前停止。
• 确定性解码的多样性诊断：通过跟踪 token 的来源排名分布（Top-1 一致率、深层尾 token 提升比例）和最终层有效维度变化（∆Dim ≈ +80），可量化模型是否学到真正的“排序重排”，避免仅依赖困惑度等指标误导，可用于监控推荐文案生成质量。
• 上下文感知的多样性提升：静态偏置注入实验表明，超拟合不是全局词汇偏置，而是动态、语境相关的排序改变。这暗示在电商推荐中，若想生成多样化的商品描述，应避免简单规则（如禁止重复 n-gram），而应通过微调让模型在不同上下文中自主决定何时使用高频词或长尾词。

Training | 2026-05-21 | cs.CL | score 8/10

HyperfittingRank ReorderingLate-Stage LoRAToken DiversityGreedy DecodingMechanistic Interpretability